NVIDIA TensorRT-LLM是一个专为优化大语言模型 (LLM) 推理而设计的库。它提供了多种先进的优化技术，包括自定义 Attention Kernel、Inflight Batching、Paged KV Caching、量化技术 (FP8、IN

llm api llama 2024-12-16 16:48  19

在首都北京的智能科技界，一场备受瞩目的盛会——MEET2025智能未来大会圆满落下帷幕。此次大会不仅汇聚了众多前沿科技与智慧火花，还揭晓了2024人工智能年度评选的璀璨榜单。声网，作为实时互动云领域的领航者，凭借其在RTE+AI领域的卓越创新与贡献，一举夺得2

人工智能 llm rte 2024-12-16 11:32  23

看组数据：剪映和CapCut，两个软件全球每月用户超过8亿。到2024年，赚钱增长了三倍多，总共差不多有一百亿人民币。

赚钱 llm 豆包 2024-12-13 13:48  21

最近在想，很有趣的是，大家做了那么多，没有一个完美方案，总结的来说：监督微调计算成本高且容易过拟合；上下文学习（ICL）依赖于手工模板，效率低且难以处理长上下文；检索增强生成（RAG）依赖于检索文档的质量和相关性，计算成本高；知识图谱（KG）方法需要大量手动构

rag llm kgs 2024-12-13 11:46  18

导读本文将概述在过去两年中，快手基于大模型技术在广告场景下所进行的一些探索性工作，以及这些工作背后的数据和模型设计的动机与思考。文章首先简要介绍在内容域，广告预估所面临的一些问题和挑战，然后重点讲一下我们如何利用多模态和大模型技术，通过提升全域行为和外部知识的

模型 llm 广告 2024-12-13 09:00  18

关于VelLMes-AI-HoneypotVelLMes-AI-Honeypot是一款大语言模型LLM的蜜罐工具，该工具可以通过使用LLM创建交互式、动态且逼真的蜜罐。

模型 llm 模型llm 2024-12-12 18:54  21

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqi

智能体 llm llm智能体 2024-12-12 15:16  23

过去十年中，人工智能的飞速进步在很大程度上依赖于扩大神经网络的规模，并使用越来越多的数据对其进行训练。这种“扩展化”方法在提高大型语言模型（LLMs）能力方面表现出了出人意料的有效性，不仅使其在模仿对话语言方面表现更为出色，还赋予了它们诸如推理等的“涌现特性”

研究 llm villalobos 2024-12-12 13:59  23

今年，研华有六款产品获得了中国台湾精品奖，其中两款获得了享有盛誉的银奖。这一出色的成绩凸显了业界对研华智能系统和嵌入式平台在工业物联网领域的认可。研华表示将继续整合人工智能驱动的行业解决方案和领域专业知识，加速数字化转型，为客户推动工业智能的发展。

llm 研华 台湾精品奖 2024-12-12 10:10  24

国内如火如荼的数字化转型，正在各行各业快速展开。不过就数字化转型的概念，还是过于宽泛和模糊。而且，数字化转型的水平和进程参差不齐，效果也很难衡量。

数据分析 llm saas 2024-12-11 19:06  18

生成合理的晶体结构通常是预测材料化学成分及其性质的第一步，但当前大多数预测方法计算成本高，制约了创新进程。通过使用优质生成的候选结构来预测晶体结构，可以突破这一瓶颈。

llm 语言 晶体结构 2024-12-10 20:25  18

我们了解到，生成式AI指人工智能系统可以产出高质量的内容，特别是文本，图片和音频。这个特性使得很多人工智能应用程序可以更加容易的被搭建出来，同样，因为生成式AI目前的蓬勃发展，这也意味着搭建这些人工智能应用程序会比原本便宜的多。

llm 产品经理 逐字稿 2024-12-10 10:28  17

在这里，北京大学的研究团队通过微调预训练的蛋白质语言模型，开发了一个基于序列的深度学习模型，即蛋白质重要性计算器 (PIC，Protein Importance Calculator)。

llm 蛋白质 北大llm 2024-12-09 15:29  17

近期，关于 Scaling Law 能否持续的争论不断，有人认为 Scaling Law 可能将会“撞墙”；也有观点认为，Scaling Law 的潜力远未被充分挖掘，OpenAI CEO Sam Altman 更是以一句直白的“There is no wal

llm scalinglaw 刘知远 2024-12-07 22:19  21

随着LLM（LLM的擅长与不擅长：深入剖析大语言模型的能力边界）规模的不断扩大和训练数据的急剧增加，大型语言模型（LLMs）如GPT系列、LLaMA等已成为自然语言处理领域的佼佼者。然而，这些模型巨大的参数数量和计算需求使得它们在资源受限的环境（如移动设备、嵌

llm 轻量级 largelanguage 2024-12-07 10:22  21

大语言模型(LLMs)推理过程中的批处理优化面临显著挑战，这主要源于其推理过程的迭代特性。核心问题在于批处理中的各个请求完成时间存在差异，这导致资源释放和新请求整合的复杂性显著提高，特别是在处理不同完成阶段的请求时。当批处理中序列的生成长度差异较大时，GPU资

llm 批处理 orca 2024-12-07 09:54  24

Yoshua Bengio最近在《金融时报》的专栏文章中表示，「AI可以在说话之前学会思考」，实现内部的深思熟虑将成为AGI道路的里程碑。无独有偶，就在几个月前，Yann LeCun也多次表达过类似的观点。

推理 llm bengio 2024-12-06 10:46  14

局限于单一的数据格式已经逐渐落伍。随着企业越来越依赖信息来做出关键决策，他们需要能够比较不同格式的数据。幸运的是，传统的限于单一数据类型的人工智能系统已经让位于能够理解和处理复杂信息的多模态（Multimodal）系统。

模态 rag llm 2024-12-06 10:25  21

人工智能工具正在帮助科研人员快速整合和理解大量科学文献，但完全自动化的高质量文献综述生成仍面临挑战，虽然能提升研究效率，但也存在生成低质量综述的风险，需谨慎使用，所以说现阶段还是人眼看论文靠谱。

llm chatgpt 一键 2024-12-06 09:36  18

目前，几乎所有 PC 游戏交互都基于多项选择对话。这是一种非常原始的交互类型，自 PC 游戏早期以来就已建立。游戏中的 LLM 可以构建更具沉浸感的体验，因为它们可以允许与 PC 游戏元素或角色（NPC）进行智能交互。

llm unity unity3d 2024-10-08 23:02  17